Cha của Cao Anh là Cao Yển (高偃), vốn là em trai của Cao Chiếu Dung (高照容), phi tần của Bắc Ngụy Hiếu Văn Đế, mẹ ruột của Tuyên Vũ Đế (sau được truy phong Hiếu Văn Chiêu hoàng hậu). Em trai Cao Yển là đại thần Cao Triệu (高肇), chú của Cao Anh và là cậu ruột Tuyên Vũ Đế.

Xét vai vế gia tộc, Cao Anh là cháu gọi Hiếu Văn Chiêu hoàng hậu bằng cô, và là biểu muội của Tuyên Vũ Đế.